LeanGuard：面向工具调用智能体的 Lean 验证护栏
🧭 LLM Agent 形式化护栏与自动修复 ★ 深度解读
Case Western Reserve University · UT Austin
在 LLM 智能体与工具之间嵌入 Lean 4 策略运行时，以形式化证明保证每次工具调用合规，并支持反馈或证明引导修复
📌 工作参考价值（4 点）
- 在电商导购/售后 Agent 的写操作（改订单、退款、发券）上，可借鉴“外部策略运行时 + 可信证据”架构：把业务规则写成 permits/requirements/forbids，所有工具调用先做 fail-closed 校验；关键点是不信 LLM 输出的文本，只信后端快照和监控日志，用户确认绑定到具体提案和状态版本，防止注入礼品卡/收款账户等越权操作。
- 将拒绝从“调用未执行”改为“失败规则 + 修复提示”，可减少重复试错并提高恢复率；论文中反馈使阻塞调用从 983 降到 719，恢复动作从 34 增至 48。售后场景可返回具体缺失条件（如需先读订单、需用户确认）而非笼统拒绝。
- 证明引导修复对参数值类违规很实用：当金额超预算、支付方式不合规、选错券时，可在规则引擎中预计算最近合规参数并随拒绝返回，或直接替换；论文在 252 个参数值拒绝中证明修复 88 个，中位 2ms，表明部分修复不必让模型重试。
- 若业务涉及支付、退款、隐私等强保障环节，可考虑用可验证语言编写核心策略，并检查证明无 sorry/非标准公理；但维护成本高，适合核心高风险写操作而非全量策略。
GPDPO：基于组 Pareto 支配策略优化的多奖励冲突学习
🧭 多奖励 RL 冲突过滤与 Pareto 偏好恢复 ★ 深度解读
Sun Yat-sen University · University of Trento
从被冲突过滤的 rollout 中利用 Pareto 支配恢复成对偏好监督，零额外采样提升多奖励 LLM 对齐
📌 工作参考价值（4 点）
- 多目标 RL 场景（相关性/转化/格式/延迟等）若采用 GD2PO 式冲突过滤，不要直接丢弃被过滤 rollout；用 Pareto 支配在 filtered 与组内其他响应间构造偏好对，加入辅助 loss。只复用已有 reward 与 log-prob，无需额外采样。
- 冲突 gate 对 group 大小和组成敏感：论文中组大小 4→64 有 16%–27% 标签翻转；在线采样 batch 不稳定时，优先考虑 pairwise 比较或增大组内响应数来降低优势标签噪声。
- 使用标准 Pareto 而非 strict domination，允许单维 reward tie，能多产生约 88% 的比较边；对二值/离散 reward（如格式合规、广告合规）尤其关键，可缓解辅助信号稀疏。
- 辅助偏好 loss 中对 retained 端点做 stop gradient，只让 filtered 侧更新；若两端都 filtered 再同时更新，避免干扰已稳定样本，这是稳定多奖励 RL 的重要工程 trick。
WeAct：动态权重切换作为 Agent 动作
🧭 Agent 模块化 LoRA 动态切换与持续学习 ★ 深度解读
Carnegie Mellon University · Duke University · Meta MSL
把 LoRA 适配器切换做成 Agent 原生工具调用，冻结主干独立训练 Plan/Search/Writing 模块，在 deep-research 任务上超越全参微调和静态合并
📌 工作参考价值（4 点）
- 把流程阶段拆成可独立训练、可工具调用的 LoRA：电商/搜索 Agent 可将意图规划、商品检索、参数对比、文案生成等阶段分别训成 Plan/Search/Write 类 adapter，通过 load_lora/offload_lora 工具调用按需切换；新增能力只需注册新 adapter，不动已有链路。
- 运行时选择优于静态合并：论文显示 TIES/DARE-TIES/TSPA 等静态 LoRA 合并均导致专业化损失，甚至在无 rank 压缩下也有局部 mismatch。业务中若已有多能力 LoRA，建议保留独立 adapter 并在推理时切换，而非合并成一个固定权重。
- 工程实现复用原生 tool-calling 接口：用 MCP 工具注册权重切换动作，不需要单独训练 router 或改造 forward pass；adapter 常驻 GPU，切换时重建 KV cache，控制开销仅占 soft/hard 总时间的 8.2%/2.8%。
- 模块化持续学习可落地到频繁迭代的环节：只刷新 Writing adapter 即可提升报告质量，backbone 和其他 adapter 保持不变，无需回放历史数据；适合在商品文案生成、搜索 query 改写等单一能力上做局部优化而不污染整体。
多奖励 RL 的逐奖励 Token 级信用分配
🧭 多奖励 RL 令牌级信用分配 ★ 深度解读
University of Minnesota · National University of Singapore · University of Illinois Urbana-Champaign · University of Southern California · University of Pennsylvania
用 verifier 信息 self-replay 定位每个 reward 的相关 token，把 advantage 按相关性重分配，加速并提升多奖励 RL
📌 工作参考价值（4 点）
- 对电商/Agent 里带多个可验证约束的生成任务（商品文案、广告标题、工具调用、SQL/API 生成），把每个 reward 的 advantage 按 self-replay 的相关性分配到 token，而不是整段均匀；尤其格式类 reward 只落在标签/keyword/CTA 等少数 token，能显著加快收敛。
- 若 verifier 有可文本化信息（参考 query、执行 error、约束条件），可直接复用 MRTPO 的 leave-one-out replay：同一条 response 在 P_all 和 P_\k 各 forward 一次，用 next-token 分布的 JS 距离得到 token 权重；无需额外模型或标注，成本只比 GDPO 多 10–20%，且只在 reward 组内有方差时 replay。
- β=0.5 是不错的默认值，前 10 步 smoothstep warmup；保留 1−β 的均匀份额避免重分配过激，并可对 reallocated part 做二阶矩约束。这个方法正交于 SAW/DVAO 等 response 级 reward reweighting，可以叠加。
- 做 prompt 约束（如“必须包含关键词、以某句结尾、加双引号”）时，直接去掉单个约束 replay 能定位到 checker 实际读取的 token；对 IFBench 这类未见约束泛化提升最明显，适合冷启动或模板频繁变化的场景。
更少 Token 更好行动：成功率升 14%、Token 省 65% 的机器人 Agent
🧭 VLM Agent 代码执行与选择性观察
Peking University · National University of Singapore · NVIDIA · Impossible Research
PyRUA-Lean 用代码执行+选择性观察，同等调用预算下成功率 63.1%→71.7%，Token 省 65%
📌 工作参考价值（4 点）
- 用 Python 代码块代替多轮 tool-calling：将多个工具调用组合成可执行 cell，包含条件判断和局部重试，减少 LLM 往返；在电商 Agent 中可把「查询商品→筛选→比价→生成文案」编码为模板化代码，LLM 只填参数。
- 选择性观察：不让 Agent 每次接收完整环境状态/全部候选商品，而是显式请求所需字段（价格、库存、历史行为），降低输入 token；类似 RAG 按需取上下文。
- 局部重试机制：在代码块内处理可预见失败（API 超时、无搜索结果、价格变动）而不回传 LLM，只在需要重新规划时才调用 LLM，可显著降低调用次数。
- 同等调用预算下提升成功率：省下的 token 可用于更多次 LLM 调用或更复杂规划，在固定成本内提升推荐/搜索效果。
MobilePA-Bench：复杂真实任务中移动规划代理的基准测试
🧭 移动 Agent 规划评估 · 工具调用基准 ★ 深度解读
MAI Team · Alibaba Token Hub · Alibaba Group
提出有状态、工具中心的移动规划代理基准，覆盖工具调用、子代理协作、记忆与技能四维能力
📌 工作参考价值（4 点）
- 评估 Agent 工具调用时，用 stateful sandbox 执行真实工具并返回动态反馈，比静态字符串匹配更能暴露运行时错误（如权限拒绝、依赖顺序）。电商场景可模拟库存、订单、用户画像等实时状态，让 Agent 在真实约束下做决策。
- 验证阶段按证据类型分桶（Tool Call / State Change / Agent Behavior），不同任务用不同 checker，避免单一指标过严或过松。可迁移到电商 Agent 评估：下单类任务看最终订单状态，推荐类任务看是否调用正确检索工具并合理追问。
- Memory Usage 维度要求 Agent 必须先显式调用 search_user_memory 检索用户偏好/历史，再规划动作，否则 gate 直接判失败。这启示电商个性化 Agent 应强制显式记忆检索，而不是依赖模型隐式猜测。
- Skill Usage 用预打包复合技能替代原子工具逐步规划，能显著降低长程任务错误累积（Skill 分数普遍高于 Memory）。在电商中，可将“下单+优惠券+支付”“退款+库存回补+通知”等流程封装成 skill，提升整体成功率。
循环语言模型提升组合工具调用
🧭 循环语言模型优化多步工具调用
Department of Computer Science and Technology, University of Cambridge, United Kingdom
循环计算在组合式工具调用中提升准确率，自适应推理深度提供更优算力-性能折中
📌 工作参考价值（4 点）
- 多步 API 协调、状态依赖保持是 Agent 落地的核心难点，可尝试将 backbone 换成或改造为循环语言模型，替代复杂 prompt 工程，提升组合工具调用稳定性。
- 自适应推理深度在保证准确率的同时控制算力，适合线上 API 开销敏感场景；可以在推理时根据任务复杂度动态分配 recurrent depth。
- 论文验证了 retrofitted 循环模型（对 Llama、OLMo 等现有模型插入循环层）与原生循环模型均有增益，意味着现有 SFT 流程可复用，作为生成式 Agent 的候选架构成本较低。
- 业务中若涉及复杂工具编排（如电商 Agent 串联商品查询、订单、物流接口），可重点评测多步依赖型任务的准确率，而非只关注单步 API 调用指标。
GD^2PO: 通过组动态奖励解耦策略优化缓解多奖励冲突
🧭 LLM多奖励RL训练的冲突过滤 ★ 深度解读
Alibaba · Renmin University of China · Peking University · ETH Zürich · The Chinese University of Hong Kong
提出冲突感知过滤与查询级重加权机制，防止多奖励RL训练中梯度抵消，显著提升工具调用和对齐性能。
📌 工作参考价值（4 点）
- 多目标优化中，用 硬过滤（符号一致性）或信噪比过滤（SNR） 剔除梯度方向冲突的样本，避免优势项正负抵消，可用于推荐系统中同时优化点击率、转化率、多样性等目标。
- 引入 查询级重加权 动态调整更新量：根据一个 query 下留存非冲突样本的比例自动降权，类似推荐中根据用户信号质量调整学习率。
- SNR 一致性比率公式简单，可作为 训练中实时监控指标，检测多目标间的冲突程度。
- 方法对阈值不敏感，超参数鲁棒性强，适合在线学习场景，可直接集成到基于 GRPO 的推荐策略优化中。
通过经验知识集成与激活突破LLM工具调用极限
🧭 LLM工具调用 · 经验知识获取与激活 ★ 深度解读
Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
系统研究经验知识在工具调用中的获取、激活与内化，提出KA TE框架，通过并行采样和知识增强训练大幅提升多步工具调用准确率。
📌 工作参考价值（4 点）
- 实例级轨迹知识更有效：直接使用高质量执行轨迹（Scenario Trajectory）作为few-shot示例注入prompt，比抽象意图描述能更可靠地提升工具调用准确率。电商Agent在调用库存、物流API时可复用历史成功轨迹。
- 推理宽度优于推理深度：用并行采样（如4路）配合自一致性聚合，成本可控地激活模型潜在知识，避免复杂prompt工程的边际收益递减。适合在agent决策步骤中增加少量并行调用。
- 用RL做知识内化：将检索到的经验知识显式拼入训练数据，用GRPO等RL方法微调，比SFT更能将知识固化为模型能力。电商推荐Agent可对高频场景构建经验库并RL微调。
- 简单检索够用：Top-K相似度检索+阈值过滤已能取得明显收益，不必在检索机制上过度设计，工程实现简单，适合快速落地。
从文本到语音：可复现且可验证的工具调用 LLM 智能体评估框架
🧭 Eval ★ 深度解读
Dialpad Inc.
提出将文本工具调用基准转化为受控音频评估的框架，保留原始标注，实现配对文本-音频对比，发现语音性能损失高度依赖模型与任务